深度学习下的自然语言处理 目录
I
目录
前言 ................................................................................................................................................. III
第 1 课 背景介绍 ........................................................................................................................... 1
1.1 什么是自然语言处理 ........................................................................................................ 1
1.1.1 自然语言处理涉及的层次 ..................................................................................... 1
1.1.2 自然语言处理的应用 ............................................................................................. 3
1.1.3 人类语言特殊之处 ................................................................................................. 3
1.2 什么是深度学习 ................................................................................................................ 5
1.2.1 传统机器学习特点 ................................................................................................. 5
1.2.2 深度学习特点 ......................................................................................................... 6
1.2.3 为什么学习探索深度学习 ..................................................................................... 8
1.2.4 深度学习带来的突破 ............................................................................................. 8
1.3 为什么 NLP 难 ................................................................................................................. 10
1.4 深度学习与自然语言处理的结合 .................................................................................. 10
1.4.1 词向量简谈 ........................................................................................................... 10
1.4.2 NLP 形态级别层次简谈 ........................................................................................ 11
1.4.3 NLP 句法分析简谈 ................................................................................................ 12
1.4.4 NLP 语义层面简谈 ................................................................................................ 12
1.5 自然语言处理的应用简谈 .............................................................................................. 13
第 2 课 word2vec 入门 ................................................................................................................ 17
2.1 传统方法处理词语 .......................................................................................................... 17
2.1.1 Discrete Representation ......................................................................................... 17
2.2 Distributional representations .......................................................................................... 18
2.2.1 Skip-gram prediction .............................................................................................. 20
第 3 课 word2vec 高级 GloVe ..................................................................................................... 25
3.1 传统 SG 模型的缺点以及解决方案 ............................................................................... 25
3.1.1 传统 SG 模型的缺点 ............................................................................................ 25
3.1.2 Negative Sampling .................................................................................................. 26
3.1.3 改进后的 SG ......................................................................................................... 27
3.2 co-occurrence 方法 ........................................................................................................... 28
3.3 GloVe ................................................................................................................................. 30
3.4 词向量评估方法 .............................................................................................................. 32
3.4.1 外部任务评价 ....................................................................................................... 32
3.4.2 内部任务评价 ....................................................................................................... 33
3.4.3 内部任务调参 ....................................................................................................... 37
第 4 课 神经网络入门 ................................................................................................................... 41
4.1 分类问题.......................................................................................................................... 41
4.1.1 分类问题介绍 ....................................................................................................... 41
4.1.2 分类问题损失函数 ............................................................................................... 42
4.1.3 分类问题参数更新 ............................................................................................... 44
4.2 简单的分类任务(命名实体识别) .............................................................................. 46
4.3 简单的神经网络 .............................................................................................................. 51